Phù Kiên sinh năm 337, khi đó gia đình ông vẫn mang họ Bồ (蒲), cha ông là Phù Hùng (苻雄) còn mẹ ông là Cẩu phu nhân. Ông nội của Bồ Kiên, Bồ Hồng (蒲洪), là một tộc trưởng người Đê và là một tướng của Hậu Triệu, phụng sự cho hoàng đế Thạch Hổ. Sau đó, khi Hậu Triệu sụp đổ, Bồ Hồng đã cải họ từ Bồ sang Phù, và lập kế hoạch chiếm vùng Quan Trung, song ông ta đã bị tướng Ma Thu (麻秋) hạ độc. Kế vị Phù Hồng là Phù Kiện, người này đã tiến hành tây chinh vùng Quan Trung và các châu xung quanh. Trong các trận đánh, Phù Kiện đã nhận được sự trợ giúp từ Phù Hùng. Năm 354, Phù Hùng đã chết trong một chiến dịch. Là con trai của Phù Hùng, Phù Kiên kế thừa tước hiệu Đông Hải vương, mặc dù ông chỉ là con thứ. Phù Kiên có tiếng là hiếu thảo và có tầm nhìn xa trông rộng, cũng như có kiến thức và tài năng.

Khi Phù Kiên lớn hơn, ông được người anh em họ, hoàng đế Phù Sinh (con trai Phù Kiện) trao cho một số trách nhiệm về quân sự. Năm 357, khi Diêu Tương (姚襄), một tộc trưởng người Khương, tấn công Tiền Tần với hy vọng có thể tiêu diệt nước này, Phù Kiên là một trong các tướng đã tham gia giao chiến và đánh bại Diêu Tương, em trai Diêu Trường của Diêu Tương đã đầu hàng. Ban dầu, tướng Phù Hoàng Mi (苻黃眉) muốn xử tử, song Phù Kiên đã can thiệp và Diêu Trường đã thoát chết.

Triều đại của Phù Sinh mang đầy tính bạo lực, thất thường và tàn ác. Vị hoàng đế này đã cho giết chết các quan lại trong chính quyền của mình, tất cả các quan lại và quý tộc đều trở nên lo sợ rằng mình sẽ là mục tiêu kế tiếp. Một số triều thần đã cố thuyết phục Phù Kiên lật đổ Phù Sinh, và lập kế hoạch để Phù Kiên gặp Vương Mãnh với sự giới thiệu của Lã Bà Lâu (呂婆樓), cả hai đã phát triển tình bằng hữu. Phù Kiện lập kế hoạch hành động chống lại Phù Sinh nhưng lại do dự vì Phù Sinh là một người mạnh mẽ. Tuy nhiên, sau khi tin tức về việc Phù Sinh lập kế hoạch giết Phù Kiên và anh trai là Phù Pháp bị lộ, Phù Kiên và Phù Pháp đã ngay lập tức hành động và tấn công kinh thành trong khi Phù Sinh vẫn đang trong trạng thái say rượu. Cận binh của Phù Sinh đã đầu hàng, Phù Kiên giết chết hoàng đế và lên ngôi.Tuy nhiên, ông không xưng đế mà xưng làm Thiên vương.Ông truy phong thụy hiệu hoàng đế cho cha mình, và truy tôn mẹ mình làm thái hậu. Vợ ông được lập làm hoàng hậu.